Traditional learning-based approaches to student modeling (e.g., predicting grades based on measured activities) generalize poorly to underrepresented/minority student groups due to biases in data availability. In this paper, we propose a Multi-Layer Personalized Federated Learning (MLPFL) methodology which optimizes inference accuracy over different layers of student grouping criteria, such as by course and by demographic subgroups within each course. In our approach, personalized models for individual student subgroups are derived from a global model, which is trained in a distributed fashion via meta-gradient updates that account for subgroup heterogeneity while preserving modeling commonalities that exist across the full dataset. To evaluate our methodology, we consider case studies of two popular downstream student modeling tasks, knowledge tracing and outcome prediction, which leverage multiple modalities of student behavior (e.g., visits to lecture videos and participation on forums) in model training. Experiments on three real-world datasets from online courses demonstrate that our approach obtains substantial improvements over existing student modeling baselines in terms of increasing the average and decreasing the variance of prediction quality across different student subgroups. Visual analysis of the resulting students' knowledge state embeddings confirm that our personalization methodology extracts activity patterns which cluster into different student subgroups, consistent with the performance enhancements we obtain over the baselines.
translated by 谷歌翻译
联合学习(FL)被认为是分布式机器学习(ML)最有前途的解决方案之一。在当前的大多数文献中,FL已被研究用于监督的ML任务,其中边缘设备收集标记的数据。然而,在许多应用中,假设存在跨设备标记的数据是不切实际的。为此,我们开发了一种新颖的方法论,合作联合无监督的对比度学习(CF-CL),用于使用未标记的数据集的跨越边缘设备的FL。 CF-CL采用本地设备合作,其中通过设备到设备(D2D)通信在设备之间进行数据交换,以避免由非独立且相同分布式(非I.I.I.I.D。)本地数据集引起的本地模型偏差。 CF-CL引入了针对无监督的FL设置量身定制的推动力智能数据共享机制,在该设置中,每个设备将其本地数据点的子集推向其邻居,作为保留数据点,并从其邻居中提取一组数据点,并通过其进行采样概率重要性抽样技术。我们证明,CF-CL导致(i)跨设备的无监督的潜在空间对齐,(ii)更快的全局收敛,允许较低的全局模型聚合; (iii)在极端非i.i.d中有效。跨设备的数据设置。
translated by 谷歌翻译
由于数据可用性的偏见,基于学习的学生建模的传统方法对代表性不足的学生群体的推广不佳。在本文中,我们提出了一种方法,用于预测其在线学习活动中的学生表现,以优化与种族和性别等不同人口组的推论准确性。在我们的方法中,基于联合学习的最新基础,单个学生子组的个性化模型是从在所有学生模型中通过元学级更新汇总的全球模型得出的,该模型通过说明亚组异质性。为了了解学生活动的更好代表,我们通过一种自我监督的行为预处理方法来增强我们的方法,该方法利用了多种学生行为方式(例如,访问教授视频和在论坛上的参与),并在模型中包括神经网络注意力聚合阶段。通过从在线课程中对三个现实世界数据集进行实验,我们证明我们的方法在预测所有子组的学生学习成果方面对现有的学生建模基准进行了实质性改进。对最终学生嵌入的视觉分析证实,我们的个性化方法确实确定了不同亚组中的不同活动模式,与基准相比其更强的推理能力一致。
translated by 谷歌翻译
在本文中,我们研究了多服务器边缘计算中基于区块链的联合学习(BFL)的新延迟优化问题。在此系统模型中,分布式移动设备(MDS)与一组Edge服务器(ESS)通信,以同时处理机器学习(ML)模型培训和阻止开采。为了协助ML模型培训用于资源受限的MD,我们制定了一种卸载策略,使MD可以将其数据传输到相关的ESS之一。然后,我们基于共识机制在边缘层上提出了一个新的分散的ML模型聚合解决方案,以通过基于对等(P2P)基于基于的区块链通信构建全局ML模型。区块链在MDS和ESS之间建立信任,以促进可靠的ML模型共享和合作共识形成,并能够快速消除由中毒攻击引起的操纵模型。我们将延迟感知的BFL作为优化,旨在通过联合考虑数据卸载决策,MDS的传输功率,MDS数据卸载,MDS的计算分配和哈希功率分配来最大程度地减少系统延迟。鉴于离散卸载和连续分配变量的混合作用空间,我们提出了一种具有参数化优势演员评论家算法的新型深度强化学习方案。从理论上讲,我们根据聚合延迟,迷你批量大小和P2P通信回合的数量来表征BFL的收敛属性。我们的数值评估证明了我们所提出的方案优于基线,从模型训练效率,收敛速度,系统潜伏期和对模型中毒攻击的鲁棒性方面。
translated by 谷歌翻译
联合学习(FL)已成为跨无线边缘设备分配机器学习的流行方法。在这项工作中,我们考虑在设备 - 服务器通信延迟和设备计算异质性下优化FL的模型性能和资源利用之间的权衡。我们提出的StofedDelav算法将本地 - 全局模型组合器包含到FL同步步骤中。我们理论上表征了Stofeddelav的收敛行为,并获得了最佳的组合权重,这考虑了每个设备的全局模型延迟和预期的局部梯度误差。然后,我们制定了一种网络感知优化问题,该问题调整设备的小靶尺寸,以共同最大限度地减少能量消耗和机器学习训练丢失,并通过一系列凸起近似来解决非凸面问题。我们的模拟表明,当调整小批准和组合重量时,STOFeddelav在模型收敛速度和网络资源利用方面优于目前的艺术。此外,我们的方法可以减少模型训练期间所需的上行链路通信轮的数量,以达到相同的精度。
translated by 谷歌翻译
联合学习产生了重大兴趣,几乎所有作品都集中在一个“星形”拓扑上,其中节点/设备每个都连接到中央服务器。我们远离此架构,并将其通过网络维度扩展到最终设备和服务器之间存在多个节点的情况。具体而言,我们开发多级混合联合学习(MH-FL),是层内模型学习的混合,将网络视为基于多层群集的结构。 MH-FL认为集群中的节点中的拓扑结构,包括通过设备到设备(D2D)通信形成的本地网络,并假设用于联合学习的半分散式架构。它以协作/协作方式(即,使用D2D交互)在不同网络层处的设备进行编程,以在模型参数上形成本地共识,并将其与树形层次层的层之间的多级参数中继相结合。我们相对于网络拓扑(例如,光谱半径)和学习算法的参数来得出MH-F1的收敛的大界限(例如,不同簇中的D2D圆数的数量)。我们在不同的集群中获得了一系列D2D轮的政策,以保证有限的最佳差距或收敛到全局最佳。然后,我们开发一个分布式控制算法,用于MH-FL在每个集群中调整每个集群的D2D轮,以满足特定的收敛标准。我们在现实世界数据集上的实验验证了我们的分析结果,并展示了MH-FL在资源利用率指标方面的优势。
translated by 谷歌翻译